Gym-Anything for Robotics:用编码智能体规模化物理仿真
🧭 编码智能体自动生成仿真与基准
Carnegie Mellon University
让编码智能体自动创建机器人仿真环境,构建 RoboWorld 基准并利用特权教师等方法提升前沿模型在 RL 任务上的表现
📌 工作参考价值(4 点)
- 借鉴“creation-audit loop”自动生成与校验训练环境:在电商搜索推荐中,可用 LLM Agent 批量生成模拟用户行为序列、查询、商品集合,并用另一个 Agent 对抗式审核其真实性与难度,替代手工构造离线评估集。
- 利用 GDP/价值导向的任务选择思路:优先覆盖高频、高价值业务场景(如高转化 query、高 GMV 类目),让生成的环境更贴近线上收益目标。
- 引入 privileged teacher 机制:训练推荐或对话 Agent 时,可让模型在训练阶段访问真实用户意图/隐反馈作为“特权教师”,在上下文中指导学生策略,提升对稀疏反馈的利用效率。
- 用 code policies 生成跨场景演示数据:在生成式推荐或 Agent 决策中,编写代码策略自动产出不同场景下的示范轨迹,用于蒸馏 VLA 型模型,降低人工标注成本。
代码技能服务器:面向代码生成技能的大规模搜索引擎
🧭 Agent 技能检索与代码生成增强
Shandong University · Guangzhou University
构建包含 993 个代码生成技能的检索服务器,检索注入可提升 Pass@1 最高 13.91%
📌 工作参考价值(4 点)
- 将可复用能力沉淀为技能库:把营销文案模板、API 调用代码、平台规则等封装成统一 schema 的技能,用 embedding 建立增量索引,Agent 根据 target task 检索注入上下文
- 检索即增强,不依赖微调:实验显示跨模型稳定提升至少 4.21%,可直接将技能检索作为外挂模块,接入现有多模型 pipeline
- 异构来源技能标准化是关键:统一技能描述、触发条件、示例等字段,能提高检索命中率与可复用性
- 评估上关注 Pass@1 提升和跨模型泛化,可作为生成式推荐/Agent 工具检索旁路增强的验证指标
3DCodeVerse:将 3D 世界作为代码探索
🧭 多智能体 3D 代码生成与验证
University of Southern California · Yale University · University of Rochester · University of California, San Diego · Google DeepMind
构建可执行 3D 代码数据集与多智能体验证框架,微调开源模型显著提升 3D 代码生成质量
📌 工作参考价值(4 点)
- 构建领域专用代码生成系统时,可借鉴“可执行验证 + 视觉反馈”闭环:让 agent 生成的代码在沙箱中执行,结合空间测量与渲染截图,自动筛选和修正,减少人工评估成本。
- 多智能体 DAG 编排比单轮生成更稳定:将需求拆解为独立节点(生成、校验、修正),每个节点有明确输入输出和失败重试,适合电商场景中复杂的代码/工具调用任务(如数据管道、商品页面生成)。
- 高质量可执行代码数据集是微调开源模型的关键:通过收集开源代码、格式转换与 agent 合成扩充,打包运行时环境与验证记录,可低成本复用于内部工具调用或结构化生成任务。
- 组件级消融与胜率评估提供工程取舍依据:在真实业务中,针对自动评估管线做组件级分析,能快速定位影响生成质量的关键环节,避免盲目堆叠。
改进环境无关编码智能体:脚手架的作用
🧭 Agent 脚手架与自主控制权衡
SingularityNET
仅改变指令鼓励报告困难并自动继续,环境无关编码智能体在 ARC-AGI-3 和 AGI Maze 上得分提升,但专用脚手架仍有优势
📌 工作参考价值(5 点)
- 环境无关脚手架与专用控制器解耦:将通用工具(shell、文件系统、上下文管理)与领域特定控制逻辑分离,便于在电商推荐 Agent 中复用通用层,只替换业务控制层,降低跨场景工程成本。
- 引入“报告困难 + 自动继续”机制:在购物助手或搜索 Agent 中,可要求模型在不确定时主动返回控制权,由外部脚本决定重试、换策略或退出,减少死循环和无效调用,提升任务完成率。
- 把重置/重试等关键决策固化到控制器:实验显示脚本化 controller 遵循已有约定能恢复部分专用 agent 优势;在推荐流程中,可将“重置会话、切换召回策略、回退规则”等决策从模型手中剥离,保证行为可预测。
- 警惕教程/Few-shot 过度设计:额外教程经验可能降低性能,提示在构造推荐 Agent 的示例或指令时需做严格消融,避免冗余示范干扰模型。
- 关注 token 成本与性能的权衡:性能提升伴随更高 token 开销,业务中采用此类自主控制机制前应对比推理成本与收益。
面向大语言模型的通用文本教学
🧭 LLM 文本知识蒸馏 · Primer ★ 深度解读
Westlake University
提出 UTT,无需参数更新,将 Teacher-Student 知识差距蒸馏为可迁移的自然语言 Primer,显著提升推理与代码生成性能
📌 工作参考价值(4 点)
- 业务中有强模型(如 GPT-4/Claude)和弱模型(如开源小模型或 API 便宜模型)时,可借鉴 UTT 对困难 query/商品/广告创意做配对评估,自动生成可复用 prompt/Primer,无需微调弱模型即可提升效果,尤其适合只能调用 API 的模型。
- 知识差距选择比随机选择更有效:先找出教师答对、学生答错的样本,再让教师针对性生成教学指令和演示,比直接让教师总结全量数据更利于迁移。可用于构建困难样本集或优化 few-shot 示例。
- 验证门控机制实用:每次更新 prompt/Primer 前,用小批量验证集确认不降低学生已有能力,避免自动 prompt 优化或 Agent 指令库更新时出现退化。
- 跨模型迁移性提示:同一个文本提示可在不同版本/不同家族的模型间复用,适用于多模型路由、灰度发布或模型升级时的知识继承。
单纯形扩散模型:离散扩散的概率单纯形框架
🧭 离散扩散 · 概率单纯形 ★ 深度解读
Google DeepMind · EPFL · UCL Gatsby
提出在概率单纯形上扩散的 SDM,保留中间不确定性,用 DDIM 式采样统一离散与连续扩散
📌 工作参考价值(4 点)
- 生成式推荐/ Semantic ID 生成中,离散扩散每一步仅采样一个 token 会丢失分布,SDM 用单纯形上的分布作为中间状态,可保留候选 item 的不确定性,减少误差累积;无需 Self-Conditioning 的额外前向。
- 大词表场景(如 item ID 词表很大)可以用 argmax embedding 替代期望 embedding,避免 O(V*d) 矩阵乘法,同时保持推理连续状态;这是工程上可落地的 trick。
- DDIM-like 采样器有 churn 参数,可调节随机性(实验中 κ=1 通常最好),且支持蒸馏到极低步数(8 步),有利于在线生成式推荐的低延迟部署。
- 用 normalized variance ν_t 调度浓度比直接调 c_t 更直观,便于在不同任务上快速调参;自适应时间采样也能提升性能。
RAPID:从视觉演示自动生成机器人程序
🧭 机器人 Agentic 编程与代码生成
Massachusetts Institute of Technology · National University of Singapore · University of Pennsylvania · NVIDIA
利用编码 Agent 从单个视觉演示自动推断任务规范、动作原语与环境,迭代生成可泛化的机器人程序
📌 工作参考价值(4 点)
- Agentic loop 的要素拆解可复用:将代码生成闭环拆成「可测试任务规范 + 动作原语 + 交互执行环境」,从单个演示自动推断。在推荐/搜索场景可类比:用 LLM 从用户操作日志或行为样例中提炼可测试的策略约束(如点击率目标、多样性要求),再迭代生成和验证 query 或推荐策略。
- 对象中心关系表示提升泛化:用关系约束而非绝对坐标/ID 描述对象交互,使程序跨姿态、形状、材质泛化。可借鉴到生成式推荐或广告中:少用固定 item ID,改为对象属性、共现/替代/互补等关系特征,帮助冷启动与跨场景复用。
- 高层意图与低层执行解耦:动作原语定义为轨迹优化程序,只规定对象级运动效果,下层求解器处理具体路径。对应业务中把策略意图(如“提升 GMV”“增大曝光多样性”)编译为可执行算子,由底层排序/出价引擎实现,避免每次重新生成全量逻辑。
- 主要是具身智能与机器人编程贡献,但验证-修正闭环和从演示自动推断规范的思路可借鉴到 Agent 工作流设计。
AutoRecLab:描述实验,自动生成推荐系统实验代码
🧭 Agent 自主科研与代码生成
University of Siegen · University of Göttingen
用自然语言提示自动实现推荐系统实验代码,结合RAG、静态类型验证与执行引导树搜索
📌 工作参考价值(4 点)
- 把实验代码生成拆成“需求抽取→原型→验证→迭代扩展”的流水线,可借鉴到内部实验平台:用 LLM 自动将实验配置转成可执行 Python/Java 代码,减少手工编写 baseline 和评估脚本。
- RAG 检索内部 RecSys 框架、数据 API 和实验平台文档,能显著减少 LLM 对私有接口的幻觉;结合静态类型检查(mypy/pyright)和执行反馈(跑测试、捕获报错)作为生成质量门禁,比单纯生成代码更可靠。
- 执行引导的树搜索可复用:对候选代码路径展开、执行、根据结果剪枝,适合离线批量生成多个算法/多数据集实验;文中单次成功运行约 1 美元,说明小规模试跑成本可接受。
- 该演示主要覆盖学术场景的显式→隐式反馈转换实验,业务落地还需补充线上数据 schema、评测指标、版本管理等约束,但可先作为内部实验脚手架或新人 onboarding 工具。
AURA:生产级推荐系统的智能体诊断与代码级优化
🧭 Agent 驱动的推荐系统诊断与代码级优化 ★ 深度解读
The Walt Disney Company, San Francisco, CA, USA
用分层 LLM Agent 从真实会话日志中自动诊断推荐失败模式,并生成代码级修复提案
📌 工作参考价值(5 点)
- 分层聚合框架可复用到电商故障诊断:把 LLM 逐会话判断作为原料,再经分类→合并→采样→分析→验证→综合六步漏斗,产出带严重度、证据和根因假设的失败分类法。可类比识别“高利润商品过度推给价格敏感用户”“长尾库存被埋没”等细分问题,替代人工切片分析。
- 封闭分类法优于开放式:初始发现阶段后锁定类别词汇,避免类别漂移和清理开销。工程上使用数据库支撑的提示模板,支持版本化和回滚,且能通过配置层切换平台。
- 防御性验证层必须做:每个 LLM 输出边界加程序化检查:会话 ID 存在性、JSON schema 校验、代码文件路径验证,防止幻觉标识符和错误引用。这是生产环境可信度的关键,尤其适用于代码生成和数据分析 Agent。
- 多模型路由控成本:高容量分类/合并用轻量模型(如 Flash),低容量分析/验证/综合用前沿模型,可将下游分析成本控制在总成本的 1-8%。
- 离线闭环筛选是廉价门槛:对诊断出的失败模式生成修复代码后,先在诊断队列上离线评估,能快速否决无效改动,避免消耗 A/B 资源。即使是看似合理的特征交叉也可能无效。
设计文档即一切:AI 原生的机器学习性能建模工具
🧭 Agent 驱动代码生成 · 设计文档化
Google DeepMind · MIT · Stanford · Google
用设计文档作为唯一持久化工件,让 AI 编码代理按需重新生成性能建模库代码
📌 工作参考价值(4 点)
- 借鉴“文档即代码”的范式:将推荐/搜索系统中最易变的模块(如召回粗排、性能预算模型)用结构化自然语言设计文档描述,并让 AI 编码代理根据文档自动生成实现,减少因架构频繁变动带来的维护成本。
- 使用逐步工作示例(worked examples)作为设计文档的一部分,充当生成代理的 in-context demonstrations,提高代码生成准确率;在业务中编写复杂策略文档时可附带典型输入输出样例。
- 构建符号化成本表达式(如 SymPy)对推荐系统推理链路进行性能建模,支持快速解析化扫描不同候选集大小、模型结构、硬件配置,辅助容量规划和架构选型。
- 定义最小递归算子 IR 来表达计算图,将粗粒度汇总与细粒度调度分离,可用于优化在线推理的资源分配与调度策略。
两阶段强化学习生成可靠对抗测试用例提升代码 LLM
🧭 代码 LLM 测试生成 · 对抗 RL
Nanyang Technological University, Singapore · Skywork AI
提出两阶段 RL 测试生成框架 TCS,先学可靠测试再对抗生成反例,提升代码生成 pass@1 与答案选择
📌 工作参考价值(4 点)
- 若业务任务具备可自动验证的 reward(如商品属性合法性、SQL 可执行、Promo 规则检查、点击/转化模拟器),可借鉴 TCS 两阶段生成器:Stage 1 贴近参考解/规则生成合法样本,Stage 2 针对线上模型常见失败模式生成反例,用于训练更鲁棒的排序/生成模型或筛选候选。
- 将测试生成器作为可学习的 critic:在电商 Agent 或推荐 query/文案生成中,训练一个判别器为候选输出打分,替代或辅助人工评审;用当前策略的失败样本构造滚动缓冲,持续挖掘 hard negatives,提升候选筛选的区分能力。
- 推理时选择:生成多个候选推荐理由/搜索 query/广告标题,用学到的检查器自动过滤不合格输出,降低低质量内容上线风险;类似无参考评估,适合在线管道。
- 注意领域差异:代码执行反馈明确且低成本,电商反馈(点击/转化)噪声大、延迟高,需用离线模拟器或业务规则先构造可信 reward,不宜直接照搬对抗 RL 的完全在线迭代。
Repo0:设计驱动的零到全代码生成
🧭 LLM Agent 零到全代码生成与结构演化
Shanghai Jiao Tong University · Chongqing University
通过 Dual-DAG 显式架构状态与模块化度量引导结构演化,实现从需求到完整仓库的生成
📌 工作参考价值(4 点)
- 将复杂 Agent 工作流(如推荐系统多阶段 pipeline)显式建模为需求层与组件层 DAG,并维护两层对齐关系,避免多模块各自生成导致的接口漂移与集成困难。
- 借鉴模块化度量(内聚/耦合)驱动的结构迭代思路:在生成式推荐或多 Agent 系统中,先收敛模块边界与依赖关系,再进行实现,可减少返工。
- 测试驱动开发(TDD)方式可直接迁移:从业务需求(如推荐场景的预期行为)先生成可执行的测试用例,以测试通过率作为生成质量的核心信号。
- 显式设定结构收敛条件(如模块化指标不再显著变化),为复杂生成任务的迭代停止提供可量化判据,避免无限循环。
项目接地与验证把关的 PLC 代码生成 Agent 框架 SemaPLC
🧭 Agent 校验驱动代码生成
Midea AIRC · KUKA · Shanghai Jiao Tong University · Zhejiang University
提出以外部验证为完成条件的 Agent harness,在 PLC 代码生成上运行时得分显著超越基线
📌 工作参考价值(4 点)
- 将任务完成条件从 LLM 自我判断改为可执行的外部 checker(spec 校验、编译、运行时 trace 对比)作为 gate,只有日志确认通过才停止,能显著提升生成质量,尤其在动态运行时指标上。
- 分层验证思路可迁移到推荐/Agent 生成场景:spec 匹配、离线静态检查、线上仿真或 replay 动态评估三层 gate,动态层最能区分方法优劣。
- 项目 grounding 做法:给 LLM 提供完整项目树、接口定义、技能库等结构化上下文,而不是孤立生成,电商推荐中可类比为提供商品图谱、用户序列、业务约束等上下文。
- 动态评测比静态打分更能暴露问题,建议在推荐 Agent 或生成式推荐评估中增加线上仿真/真实 A/B 指标,避免只看离线静态分。
Vero:AI Agent 能构建形式化验证的软件仓库吗
🧭 AI Agent 形式化验证代码生成基准
UC Berkeley · University of Chicago · California Institute of Technology · Stanford University · Amazon Web Services
首个仓库级实现与证明联合合成的形式化验证基准,当前最强 Agent 仅完全解决 27/43
📌 工作参考价值(4 点)
- 在电商/推荐系统的关键路径(如扣费、库存、ETL 数据一致性)中引入形式化验证 gate:为 API 接口编写 spec 和机器可检查证明,替代或补充单测,避免边界条件下的隐性 bug。
- 评估内部 AI coding agent 时,不要仅看测试通过率;可仿照 Vero 设计双模式评测:proof-only(只补证明)和 code-and-proof(实现+证明联合生成),衡量 agent 能否在多模块上下文中保持规范一致性。
- 采用 Vero 的审计机制:允许 agent 证明 spec 不可满足或参考实现错误,用于自动发现接口契约或参考代码中的隐含缺陷;迁移到业务中可对服务间契约建立形式化检查,提前暴露集成矛盾。
- 仓库级验证思维对微服务架构有参考意义:把跨服务数据流、状态迁移约束用 Lean 4 等语言形式化,不仅能保证单个模块正确,还能验证跨模块组合语义,适合交易链路等高可靠场景。
MindForge:通过无源码程序合成教授小模型全周期软件工程
🧭 LLM 训练 · 程序合成 · 教师蒸馏
Huawei Canada · Queen's University · University of Manitoba
自动化将开源命令行程序转为无源码训练环境,用教师轨迹微调小模型,使编程从零构建性能大幅提升
📌 工作参考价值(4 点)
- 可借鉴其自动构建仅暴露接口和文档的无源码沙箱的方法,为推荐系统 Agent 生成训练环境,例如基于推荐 API 文档和模拟用户行为合成决策轨迹。
- 使用大模型作为教师生成高质量全生命周期交互轨迹,再微调小模型,这种蒸馏范式可直接用于将复杂推荐策略(召回、排序、重排)压缩为小型 Agent 模型,降低线上延迟。
- 训练数据覆盖需求分析、设计、实现、测试多阶段,对推荐 Agent 训练有启发:可设计从用户画像分析、策略设计到配置、离线评估的完整任务流,提升模型全局优化能力。
- 从与测试集不重合的仓库构建环境,泛化性提升显著,业务中可用多样化历史推荐场景构造合成数据,微调模型以应对未见过的运营需求或算法变更。
教LLM自我进化:用强化学习培养核心元技能
🧭 RL训练自我进化元技能
University of Illinois Urbana-Champaign
通过合成进化轨迹和进化感知的RL,教会LLM自我反思等元技能,大幅提升跨领域迭代优化能力
📌 工作参考价值(4 点)
- 借鉴进化轨迹合成方法:在搜索/推荐场景中,收集多轮策略调整的历史数据(如出价序列、排序规则迭代),构造包含状态、收益、历史尝试的训练样本,让模型学会基于历史决策反馈进行增量优化。
- 奖励塑形技巧:利用业务连续指标(CTR、转化率、时长)设计fitness score,替代二元成败,为RL训练提供更细粒度的反馈,引导模型生成更高效的策略。
- 推理时进化搜索:部署推荐/广告Agent时,可对同一请求执行多轮推理,每轮根据环境模拟反馈(如预测的CTR)微调输出,最后选择最优解,实现test-time自我改进。
- 域无关元技能迁移:在代码数据上训练获得的自我反思与迭代优化能力,可迁移到推荐文案生成、搜索词优化等开放域任务,减少对标注数据的依赖。
fog:通过AI生成代码的函数组合表达运动与情感
🧭 生成式运动与情感动画代码合成
Columbia University
利用LLM生成可组合的运动函数类,实现Heider-Simmel风格动画中的语义动作与情感表达
📌 工作参考价值(4 点)
- 将领域知识分解为动词、副词、情感等可组合的原子函数,并利用LLM生成其代码实现,这一范式可迁移至电商商品动画或推荐解释的生成:先定义基本原子动作(如展示、强调、对比),再让LLM组合生成个性化动画。
- 交互界面结合直接操纵与动态生成的UI,可借鉴到推荐可视化配置工具中:允许用户拖拽调整动画参数,同时后台由LLM实时重新生成代码,实现快速迭代。
- 利用LLM生成开放式运动词汇库,避免了手工编码每种动作,对于需要动态生成大量商品展示动画的场景(如千人千面的广告素材)有降本潜力。
- 注意:该工作聚焦于Heider-Simmel抽象动画,直接用于电商/推荐需适配具体领域动作,但代码生成与函数组合的思想具有通用性。
Multi-LCB:将 LiveCodeBench 扩展至多编程语言的代码生成评估基准
🧭 多语言代码评估基准构建
GigaCode · Yandex School of Data Analysis, Applied AI Institute
将 LiveCodeBench 扩展到 12 种编程语言,揭示 LLM 跨语言代码生成的过拟合与污染问题
📌 工作参考价值(4 点)
- 多语言任务等价转换方法:通过翻译 Python 任务到其他语言并保持评估协议一致,可借鉴用于构建多语言推荐系统的等价测试集,例如将用户查询或物品描述转为多种语言,验证跨语言推荐的一致性。
- 模型过拟合检测:对比模型在 Python 与其他语言的性能差异,发现 Python 过度拟合;在推荐系统中,可通过类似手法分析模型是否过度依赖特定模态或高频特征,识别训练数据偏置。
- 污染感知评估设计:使用时间戳过滤任务,避免训练集污染,该机制可直接用于推荐基准的版本管理,确保评测的公平性和时效性。
- 多语言性能差距分析:暴露的多语言性能鸿沟提示在训练多模态 / 多语言推荐模型时,需平衡各语言的数据配比,并在评估中纳入多语言维度以指导模型优化。
LoopCoder-v2:仅一次循环实现高效测试时计算扩展
🧭 并行循环Transformer · 增益-成本权衡
Beihang University · IQuest Research · Langboat · Renmin University of China
并行循环Transformer仅循环两次即达最优,平衡表征增益与位置偏移代价
📌 工作参考价值(4 点)
- 在Agent/工具调用场景中,可借鉴并行循环Transformer设计,通过共享KV缓存的滑动窗口注意力与跨循环位置偏移,在不显著增加显存的前提下实现测试时计算扩展。
- 循环次数并非越多越好:实验发现2次循环是最优的,再增加循环收益递减甚至退化;在推荐/搜索Agent的迭代推理中,建议通过诊断(表征多样性、更新幅度)确定最佳推理轮次,避免盲目堆叠。
- 跨循环位置偏移引入的边界失配是固定代价,当表征精炼增益缩小时会成为主导;在设计迭代式推荐模型(如循环精炼用户/物品表示)时,需权衡每次迭代的增益与固定结构偏差。
- 若要将循环机制用于电商生成式推荐或搜索,可尝试用一个共享的Transformer块多次循环生成候选物品的Semantic ID,并监控循环间的表征振荡,在2次循环附近寻找性能甜区。
IterCAD:面向视觉引导CAD生成与编辑的迭代多模态智能体
🧭 CAD 生成与编辑 · 多模态 Agent · 闭环几何推理 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China · Shanghai Innovation Institute · Wuhan University · The Australian National University
提出迭代多模态Agent框架,通过多视图工程图闭环交互与几何感知RL,实现鲁棒CAD代码生成与编辑
📌 工作参考价值(4 点)
- 闭环Agent交互范式:借鉴“思考-执行-观察”的多轮交互协议,强制模型输出结构化推理和代码块,并给予格式奖励,可用于电商复杂查询Agent或对话式购物助手的设计,提高多步决策的可靠性。
- 数据合成与训练流程:先用专家模型合成高质量多轮交互轨迹进行SFT冷启动,再通过几何感知强化学习提升自校正能力,此两步走训练策略可直接复用到需要长程推理和纠错的业务场景(如多轮推荐对话、任务型Agent)。
- 信用分配掩码(GVPM):为解决多轮RL中后期失败惩罚前期有效动作的问题,引入前缀掩码,只对有效前缀进行强化,可迁移到任何多轮交互的RL训练中(如多步召回策略优化、对话策略学习)。
- 幸存者偏差消除评估:提出的CD-TR曲线和AUC-TR指标将代码执行成功率与几何精度联合评估,类似思路可引入到生成式推荐或SQL生成任务中,把生成失败记为最低分,避免仅统计成功样本而导致的评价失真。
MLEvolve:面向自动化机器学习算法发现的自演化多智体框架
🧭 多智体长周期自演化与算法搜索 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · East China Normal University
通过图搜索、回顾记忆与分层规划实现长周期自演化,在 MLE‑Bench 上以半数时间达到 65.3% 奖牌率 SOTA。
📌 工作参考价值(4 点)
- 图搜索 + 跨分支信息复用:Progressive MCGS 在有向图中引入引用边,允许非父‑子节点间的策略组合,可迁移到多方案 A/B 实验或推荐模型架构搜索,打破单支探索的信息孤岛。
- 动态经验积累:回顾式记忆将每次尝试的计划、结果、分析存入全局记忆,通过 BM25+FAISS 混合检索在规划和调试阶段自动召回相关经验,可直接用于 Agent 的“失败经验库”或营销策略迭代记忆。
- 规划‑编码解耦与自适应模式:分离“改什么”与“怎么改”,根据搜索阶段和代码成熟度在全量生成、模块化生成、diff 编辑间自动切换,能稳定长周期代码迭代,适用于 LLM 驱动的自动化特征工程或流水线优化。
- 渐进式探索‑利用调度:熵启发的软开关在 UCT 探索与精英引导利用间平滑过渡,可在有限计算预算(如广告竞价、推荐排序在线调参)下自动从宽探索收敛到高价值方向,避免后期资源浪费。
Mellum 2:面向高效代码助手的12B MoE模型训练与架构
🧭 代码生成与推理LLM · MoE架构与训练 ★ 深度解读
JetBrains · Constructor University, Bremen, Germany
开源12B/2.5B活跃MoE代码模型,通过架构与训练设计在2.5B算力下达成7B级性能
📌 工作参考价值(4 点)
- MoE部署经济学:通过64选8专家架构,总参数量12B但单token仅2.5B,推理成本可比拟7B密集模型。若在推荐系统中使用MoE,可参考其GQA+SWA+MTP的组合设计,压缩KV cache并利用推测解码加速。
- 三阶段课程学习:预训练数据从通用网页逐步切换到高质量代码/数学(代码比例23%→42%→59%),在lr decay阶段集中最干净的数据。推荐模型训练中也可借鉴:初期用大规模行为数据,后期用精选交互序列,并在lr衰减期引入高标准标注数据。
- 长上下文扩展的层选择性YaRN:仅对全局注意力层应用频率重映射,滑动窗口层保持原样,节省计算且有效保持长短文本性能。对于需要长序列建模的推荐场景(如用户长期行为),可尝试类似分层扩展策略,避免全量RoPE调整。
- RLVR避免奖励模型噪声:用可验证奖励直接优化策略,省去奖励模型训练。在推荐中,若存在确定性的正负反馈(如购买、跳过),可构造程序化的reward函数,减少RLHF的工程成本和不确定度。
组合合成:通过原子分解与重组扩展代码 RLVR 规模
🧭 代码 RLVR 数据生成 · 原子分解重组
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Lero the Research Ireland Centre for Software, University of Limerick · The Chinese University of Hong Kong, Shenzhen · The Hong Kong University of Science and Technology
提出原子分解与重组框架,通过分解并受控重组生成新颖、高难度代码任务,提升 RLVR 训练的可扩展性
📌 工作参考价值(4 点)
- 数据增强思想可迁移至推荐/Agent 场景:在生成推荐 Query、Agent 指令或测试用例时,可将现有数据分解为原子元素(如商品属性、用户意图、操作序列),再通过受控重组生成多样化的新样本,提升训练数据的覆盖度和难度。
- 组合式合成解决多样性瓶颈:业务中常遇到训练样本同质化问题,借鉴原子分解思路,设计可组合的原子单元与约束规则,可系统性生成大量不同难度梯度的样本,用于模型能力爬坡。
- 自动生成高质量验证测试:ADR 同步生成代码与对应单元测试的思路,可迁移到 Agent 任务中自动构造评估用例,例如在生成式推荐中自动生成商品描述并附带可验证的约束条件,实现自动化评测。
- RLVR 训练范式在非代码领域的延伸:论文证明了可验证奖励与合成数据的结合能稳定提升模型能力,若能在电商 Agent 任务中定义可自动验证的奖励信号(如订单成功率、交互符合业务规则),则可套用类似框架进行大规模 RL 训练。
CoSPlay:测试时无监督自博弈协同进化代码与单元测试
🧭 代码生成 · 无监督自博弈 · Test-Time Scaling ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Institute of Deep Perception Technology, JITRI, Wuxi, China
提出无监督、无训练的测试时自博弈框架,代码与自生成的单元测试通过执行矩阵双向验证协同进化,显著提升代码生成正确率
📌 工作参考价值(4 点)
- 可复用的协同进化机制:在电商多智能体系统中,可让策略生成器与自生成的验证规则(类似单元测试)形成双向反馈循环,通过执行成功次数信号清理低效策略、修复缺陷行为,实现无监督的迭代优化。
- 共识聚类提升最终选择可靠性:当多个候选策略/推荐结果得分相同时,利用随机输入下的输出一致性聚类进行二次筛选,正确策略因行为一致而聚集,此技巧可迁移到推荐模型的融合、多臂老虎机决策等场景。
- 探索-攻击驱动的验证样例生成:先探索解决方案思路,再针对潜在失败模式生成判别性测试,这种“生成后攻击”的方法可用于电商Agent的鲁棒性测试,自动挖掘边界异常输入。
- 成本-性能优势:在相同推理预算下,将算力投入执行驱动的自博弈比单纯扩大采样规模更高效,该思路适用于任何具备可验证反馈的生成任务(如生成式推荐的质量评估)。
HarnessAPI:技能优先的统一流式API与MCP工具框架
🧭 Agent 工具部署与统一API框架
Western Michigan University
从单一技能文件夹自动派生流式HTTP端点、OpenAPI UI和MCP工具,减少74%样板代码
📌 工作参考价值(4 点)
- 单源技能定义:借鉴“技能文件夹 + Pydantic schema”模式,为每个业务能力(如推荐召回、订单查询)设置单一事实源,自动导出HTTP端点和MCP工具,避免双重维护,降低Agent工具与人工接口的偏离风险。
- 双模响应协商:同一handler通过Content-Type自动切换SSE流式与JSON响应,适合生成式推荐中流式生成结果与常规RPC调用,无需重写业务逻辑。
- 全生态继承:HarnessAPI子类化FastAPI,可直接复用现有中间件、依赖注入、鉴权和部署方案,工程落地成本低,适合在已有FastAPI服务上快速增加MCP工具暴露。
- 动态代码生成保型:通过动态生成模块确保Pydantic类型注解在MCP工具层正确传递,解决闭包注册时的类型丢失问题,对需要强类型校验的Agent工具链(如电商API参数校验)至关重要。
从可运行到可交付:多Agent测试驱动全栈Web应用生成
🧭 代码Agent测试驱动开发优化 ★ 深度解读
The Chinese University of Hong Kong · Columbia University · Singapore Management University
TDDev框架通过自动化验收测试、浏览器交互验证与失败翻译,使全栈Web应用生成质量提升34-48个百分点,且协议必须匹配模型风格。
📌 工作参考价值(4 点)
- 测试驱动的闭环反馈可用于生成式推荐或Agent管线:将业务需求(如“推荐多样化商品”)自动转化为结构化验收用例(用户故事+交互步骤+预期结果),由LLM agent模拟用户行为在部署环境执行验证,再将失败点转化为代码修复信号,可复用至多步推理或工具调用场景。
- 协议与模型生成风格匹配原则:在Agent工作流编排中,对偏好整体重写的模型(如Sonnet)应赋予高自主权的agentic TDD(仅给予工具和流程提示,不强制步骤),对偏好增量修改的模型(如Qwen)应采用分步强制的incremental TDD;错配会完全抵消反馈增益,且token消耗数倍增加,这一规律可迁移至多Agent协作策略选择。
- 浏览器交互验证的轻量化架构:使用Playwright + 可访问性树作为页面状态表示,由同一个LLM逐步生成Playwright动作并根据历史轨迹给出通过/失败/部分通过的verdict,无需预知页面结构,实现低误判(100%缺陷召回率,仅有保守型假阴性),该设计可直接用于电商Agent的UI自动化测试或端到端功能回归。
- 成本-质量权衡的量化方法:通过计算每提升一个百分点的token消耗(tok/pp),为不同协议建立边际成本曲线,指导生产环境选型;实验中增量TDD对保守模型带来最高精度但token消耗是整体TDD的24倍,为类似Agent系统的算力预算提供参考。
AgentKernelArena:面向泛化性的GPU内核优化代理基准测试
🧭 GPU内核优化代理评估基准
AMD
首个覆盖HIP/Triton/PyTorch-to-HIP的智能体GPU内核优化评估基准,引入未见配置泛化测试。
📌 工作参考价值(4 点)
- Agent迭代优化流程的量化评估:借鉴其编译、正确性、性能三道门控检查的设计,可为推荐系统中代码生成Agent(如特征工程脚本优化、数据处理pipeline生成)构建类似的闭环评测,确保输出代码在真实环境中可用且高效。
- 泛化测试避免过拟合:论文揭示从零生成的kernel容易硬编码特定输入形状,在未见配置下正确性大幅下降。在电商场景中,若用Agent生成模型训练或推理代码,应增加不同batch size、序列长度等配置的泛化测试,避免隐式过拟合。
- 隔离执行与集中评分:其模块化工作区隔离执行、集中打分的框架可复用于多Agent系统的性能基准测试,尤其适合评估代码优化类Agent的鲁棒性和速度提升。
- 对推荐场景的直接价值有限:工作聚焦底层GPU kernel优化,与业务层的生成式推荐、多智能体协作关联较弱,主要提供评估方法论参考。
从失败中学习:基于可验证奖励的修正导向策略优化
🧭 利用失败轨迹的修正训练增强 RLVR ★ 深度解读
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Xiaohongshu Inc.
将 RLVR 中的失败轨迹转化为修正监督,无需额外信号,显著提升推理与自我纠错能力
📌 工作参考价值(4 点)
- 在构建对话推荐 Agent 时,可利用用户交互中的失败轨迹(如不满意回复)构造修正对,通过 RL 训练提升 Agent 自我纠错能力,而非简单抑制。
- 生成式推荐或代码生成 Agent 可借鉴难度感知偏好采样(Section 3.3),优先重放中等通过率的样本,避免在过难或过易问题上浪费计算。
- 自适应重放比率与风险厌恶奖励塑形(Section 3.2)可迁移到推荐策略 RL 训练中,动态平衡正确与错误轨迹,防止遗忘已学知识并抑制能力退化。
- 在线修正机制无需外部标注或奖励模型,适合电商 Agent 在无人工反馈的条件下持续优化多步规划与纠错能力。
FrontierSmith:规模化合成开放式编程问题
🧭 Training ★ 深度解读
UC Berkeley · UC San Diego · University of Washington · Stanford University · Princeton University
通过变异封闭式编程问题并使用思路分歧度量自动筛选,实现开放式编程问题的规模化合成与强化学习训练
Solvita:智能体进化框架让LLM在竞赛编程中持续积累经验
🧭 多智能体协作与经验持续进化 ★ 深度解读
Nanjing University · Tsinghua University · Independent Researcher
通过四个专用智能体与可训练图知识网络,用REINFORCE将执行结果转化为路由权重更新,实现无需微调的持续编程能力提升
📌 工作参考价值(4 点)
- 可训练知识网络替代静态RAG:每个Agent(Planner、Solver、Oracle、Hacker)配有图结构记忆,边权重由任务成功/失败信号通过REINFORCE动态调整,而非仅靠语义相似度检索。电商Agent可借鉴此模式,将用户交互反馈(如点击、转化)转化为知识检索的路由策略,实现经验驱动的动作选择。
- 闭环多智能体反馈联动:Oracle的测试认证、Hacker的对抗攻击结果不仅独立使用,还通过事件总线更新其他Agent的知识网络。在推荐/审核/风控的多智能体系统中,可设计类似的失败信号广播机制,让不同角色共享教训,避免重复错误。
- 补丁式修复节省Token与提升稳定性:Solver不重写整个程序,而是生成SEARCH/REPLACE补丁,仅修改出错部分,大幅降低计算开销(实验中Token节省达86%–91%)。业务流程自动化(如代码修复、规则调整)可优先采用增量修补而非全量重试,提高效率并保持核心逻辑不变。
- 无模型微调的性能持续提升:LLM权重完全冻结,仅更新外部知识网络,系统性能随使用时间单调增长。这对业务中模型更新成本高或数据隐私严格的场景(如私有化部署的推荐系统)很有价值,可用轻量级外部记忆实现持续迭代。